Hang Địch Lộng nằm trong vùng rừng núi hoang vu rậm rạp. Đứng ở cửa động khi gió thổi vào nghe vi vu như tiếng sáo liền đặt tên Địch Lộng. Thấy trong động có nhiều nhũ đá hình thù kỳ lạ, dân xã Gia Thanh liền mở đường lập chùa thờ Phật năm Canh Thân, triều vua Lê Hiển Tông, niên hiệu Cảnh Hưng thứ nhất, tức là năm 1740 với tên chữ Nham Sơn động Cổ Am Tự (có nghĩa là chùa Cổ Am ở động Nham Sơn)[6][4], đồng thời xây dựng thêm một ngôi đình ở đây, tạo thành một cụm kiến trúc chùa - đình như ngày nay.[7]